The foundation models have recently shown excellent performance on a variety of downstream tasks in computer vision. However, most existing vision foundation models simply focus on image-level pretraining and adpation, which are limited for dynamic and complex video-level understanding tasks. To fill the gap, we present general video foundation models, InternVideo, by taking advantage of both generative and discriminative self-supervised video learning. Specifically, InternVideo efficiently explores masked video modeling and video-language contrastive learning as the pretraining objectives, and selectively coordinates video representations of these two complementary frameworks in a learnable manner to boost various video applications. Without bells and whistles, InternVideo achieves state-of-the-art performance on 39 video datasets from extensive tasks including video action recognition/detection, video-language alignment, and open-world video applications. Especially, our methods can obtain 91.1% and 77.2% top-1 accuracy on the challenging Kinetics-400 and Something-Something V2 benchmarks, respectively. All of these results effectively show the generality of our InternVideo for video understanding. The code will be released at https://github.com/OpenGVLab/InternVideo .

Personal knowledge bases (PKBs) are crucial for a broad range of applications such as personalized recommendation and Web-based chatbots. A critical challenge to build PKBs is extracting personal attribute knowledge from users' conversation data. Given some users of a conversational system, a personal attribute and these users' utterances, our goal is to predict the ranking of the given personal attribute values for each user. Previous studies often rely on a relative number of resources such as labeled utterances and external data, yet the attribute knowledge embedded in unlabeled utterances is underutilized and their performance of predicting some difficult personal attributes is still unsatisfactory. In addition, it is found that some text classification methods could be employed to resolve this task directly. However, they also perform not well over those difficult personal attributes. In this paper, we propose a novel framework PEARL to predict personal attributes from conversations by leveraging the abundant personal attribute knowledge from utterances under a low-resource setting in which no labeled utterances or external data are utilized. PEARL combines the biterm semantic information with the word co-occurrence information seamlessly via employing the updated prior attribute knowledge to refine the biterm topic model's Gibbs sampling process in an iterative manner. The extensive experimental results show that PEARL outperforms all the baseline methods not only on the task of personal attribute prediction from conversations over two data sets, but also on the more general weakly supervised text classification task over one data set.

一个良好的动作效果预测模型，称为环境模型，对于在机器人控制，推荐系统和患者治疗选择等许多领域中实现样本有效的决策政策学习非常重要。我们可以使用这种模型进行无限的试验来确定适当的行动，以便可以节省现实世界中的查询成本。它要求模型正确处理看不见的数据，也称为反事实数据。但是，标准数据拟合技术不会自动实现这种概括能力，通常会导致不可靠的模型。在这项工作中，我们在模型学习中引入了反事实风险最小化（CQRM），以推广到特定目标策略查询的反事实数据集。由于目标策略在政策学习中可能是各种各样且未知的，因此我们提出了一个对抗性CQRM目标，其中模型在对抗性策略查询的反事实数据上学习，并最终得出可拖延的解决方案Galileo。我们还发现，对抗性CQRM与对抗模型学习密切相关，从而解释了后者的有效性。我们将伽利略应用于综合任务和现实应用程序中。结果表明，伽利略对反事实数据做出了准确的预测，从而显着改善了现实世界测试的策略。

反转技术被广泛用于重建基于表面的地球物理测量值（例如，地震，电气/磁（EM）数据）的地下物理特性（例如，速度，电导率）。这些问题受波浪或麦克斯韦方程等部分微分方程（PDE）的控制。解决地球物理反演问题由于不适当和高计算成本而具有挑战性。为了减轻这些问题，最近的研究利用深层神经网络来学习从测量到物业的倒置映射。在本文中，我们表明，这样的映射可以通过仅有五层的非常浅（但不是宽）网络来很好地建模。这是基于我们对有趣属性的新发现来实现的：在高维空间中应用积分变换后，输入和输出之间的近乎线性关系。特别是，在处理由波方程控制的从地震数据到地下速度的反演时，与高斯核的速度的积分结果与正弦核的地震数据的积分线性相关。此外，该属性可以轻松地转变为用于反转的轻质编码器网络。编码器包含地震数据和线性转换的整合，而无需进行微调。解码器仅由一个单个变压器块组成，以逆转速度的积分。实验表明，这种有趣的属性可用于四个不同数据集的两个地球物理倒置问题。与更深的倒置网络相比，我们的方法达到了可比的精度，但消耗的参数大大减少。

过去几年的技术创新的巨大浪潮，标志着AI技术的进展，是深刻的重塑行业和社会。然而，在路上，一个关键的挑战等待着我们，即我们满足快速增长的情景的能力的能力受到收购培训数据的成本的严重限制。由于主流学习范式的局限性，这一困难的局面是基于主流学习范式的局限性：我们需要根据大量注释的数据以及通常从头来训练每个新场景的新模型。在解决这一基本问题时，我们超越并开发一个名为实习生的新学习范式。通过在多个阶段的来自多个来源的监控信号学习，培训的模型将产生强大的相互性。我们在26个众所周知的数据集中评估我们的模型，该数据集涵盖计算机视觉中的四类任务。在大多数情况下，我们的模型仅适用于目标域中的培训数据的10％，始终以完整的数据培训的对应物，通常由显着的边距。这是一个重要前景的重要一步，其中具有一般视觉能力的这种模型可以大大降低对数据的依赖，从而加速通过AI技术的采用。此外，围绕我们的新范式旋转，我们还介绍了一个新的数据系统，新的架构和新的基准，以及一起形成一般愿景生态系统，以开放和包容性的方式支持其未来的发展。

3D计算机断层扫描扫描的肺结核检测在高效的肺癌筛查中起着至关重要的作用。尽管使用CNNS的基于锚的探测器获得的SOTA性能，但是它们需要预定的锚定参数，例如锚点的尺寸，数量和纵横比，并且在处理具有大量尺寸的肺结节时具有有限的鲁棒性。为了克服这些问题，我们提出了一种基于3D球体表示的中心点匹配的检测网络，该检测网络是无锚的，并且自动预测结节的位置，半径和偏移，而无需手动设计结节/锚参数。 SCPM-Net由两种新颖组件组成：球体表示和中心点匹配。首先，为了匹配临床实践中的结节注释，我们用所提出的边界球体替换常用的边界框，以表示具有质心，半径和3D空间局部偏移的结节。引入兼容的基于球体的交叉口损耗功能，以稳定且有效地培训肺结核检测网络。其次，我们通过设计正中心点选择和匹配过程来赋予网络锚定，自然地丢弃预定的锚箱。在线硬示例挖掘和重新聚焦损失随后使CPM过程能够更加强大，导致更准确的点分配和级别不平衡的缓解。此外，为了更好地捕获用于检测的空间信息和3D上下文，我们建议熔化具有特征提取器的多级空间坐标映射，并将它们与3D挤压和激励的关注模块相结合。 Luna16数据集上的实验结果表明，与肺结核检测的现有锚和锚定方法相比，我们所提出的框架达到卓越的性能。

在线零售平台，积极检测交易风险至关重要，以提高客户体验，并尽量减少财务损失。在这项工作中，我们提出了一种可解释的欺诈行为预测框架，主要由探测器和解释器组成。 Xfraud探测器可以有效和有效地预测进货交易的合法性。具体地，它利用异构图形神经网络来从事务日志中的信息的非渗透键入实体中学习表达式表示。 Xfraud中的解释器可以从图表中生成有意义和人性化的解释，以便于业务部门中的进一步进程。在我们对具有高达11亿节点和37亿边缘的实际交易网络上的Xfraud实验中，XFraud能够在许多评估度量中倾销各种基线模型，同时在分布式设置中剩余可扩展。此外，我们表明，XFraud解释者可以通过定量和定性评估来显着帮助业务分析来产生合理的解释。

Open Information Extraction (OIE) methods extract a large number of OIE triples (noun phrase, relation phrase, noun phrase) from text, which compose large Open Knowledge Bases (OKBs). However, noun phrases (NPs) and relation phrases (RPs) in OKBs are not canonicalized and often appear in different paraphrased textual variants, which leads to redundant and ambiguous facts. To address this problem, there are two related tasks: OKB canonicalization (i.e., convert NPs and RPs to canonicalized form) and OKB linking (i.e., link NPs and RPs with their corresponding entities and relations in a curated Knowledge Base (e.g., DBPedia). These two tasks are tightly coupled, and one task can benefit significantly from the other. However, they have been studied in isolation so far. In this paper, we explore the task of joint OKB canonicalization and linking for the first time, and propose a novel framework JOCL based on factor graph model to make them reinforce each other. JOCL is flexible enough to combine different signals from both tasks, and able to extend to fit any new signals. A thorough experimental study over two large scale OIE triple data sets shows that our framework outperforms all the baseline methods for the task of OKB canonicalization (OKB linking) in terms of average F1 (accuracy).

初始化时（OPAI）的一次性网络修剪是降低网络修剪成本的有效方法。最近，人们越来越相信数据在OPAI中是不必要的。但是，我们通过两种代表性的OPAI方法，即剪切和掌握的消融实验获得了相反的结论。具体而言，我们发现信息数据对于增强修剪性能至关重要。在本文中，我们提出了两种新颖的方法，即判别性的单发网络修剪（DOP）和超级缝制，以通过高级视觉判别图像贴片来修剪网络。我们的贡献如下。（1）广泛的实验表明OPAI是数据依赖性的。（2）超级缝线的性能明显优于基准图像网上的原始OPAI方法，尤其是在高度压缩的模型中。

我们解决了使四足机器人能够使用强化学习在现实世界中执行精确的射击技巧的问题。开发算法使腿部机器人能够向给定的目标射击足球，这是一个具有挑战性的问题，它将机器人运动控制和计划结合到一项任务中。为了解决这个问题，我们需要考虑控制动态腿部机器人期间的动态限制和运动稳定性。此外，我们需要考虑运动计划，以在地面上射击难以模拟的可变形球，并不确定摩擦到所需的位置。在本文中，我们提出了一个层次结构框架，该框架利用深厚的强化学习来训练（a）强大的运动控制政策，可以跟踪任意动议，以及（b）一项计划政策，以决定所需的踢球运动将足球射击到目标。我们将提议的框架部署在A1四足动物机器人上，使其能够将球准确地射击到现实世界中的随机目标。